ドリフト拡散モデルの勉強配信アーカイブとメモ(NMA Hidden Dynamics)
https://www.youtube.com/watch?v=MuyNqvqDG9k
僕の理解だと、
ある観察をしたとき、その観察対象の状態(2択)として尤もらしい方を推定する方法・・・
を繰り返していって、証拠を集めていき観察対象の状態を推定する方法
Naa_tsure.icon尤度比検定はモデルの項を増やしていったときにより上手くデータを説明できるかのテストで使うイメージ
Naa_tsure.icon上手く理解できてない部分
本編:57:45-あたり+1:30:55-あたり
Naa_tsure.iconガウシアンが2つあるグラフはなんだ・・・?
一つ目は$ p(m|s=±1)で二つ目は$ p(Δ|s=±1)を示してる
一つ目
ある状態sのとき、観察値mをとる確率
注意したいのは2つのグラフとも観察mは同じということ
目的は観察mから状態sを推定すること
1.観察mの値が横軸で一回の観察で一つの値を取る
2.そこから縦に見ていると、例えば青いグラフと黄色いグラフとぶつかる
3.このy軸の差がある観察をした際にその状態sがどちらである可能性が高いかを示している
二つ目
ある状態sのとき、$ Δ_tだけ情報を更新する確率
ここでいう情報:状態s=-1とs=1のどちらの方が尤もらしいか
$ Δ_t = log\frac{p(m_t|s=+1)}{p(m_t|s=-1)}
Naa_tsure.icon解釈してみる
$ Δ_t=b+c\epsilonと置くと、
たとえば、状態がs=1だったとき(黄色)、
ある観察を行ったときにbだけ状態がs=-1よりs=1である確率が高い
という情報更新を行う可能性が一番高い
逆に、情報更新を行ったとき、その大きさ(正負)から状態を推定することができる
ちなみに、一つ目の二つ目のガウシアンは、
$ b=\frac{2\mu^2}{\sigma^2}, c=\frac{2\mu}{\sigma}
という式で繋がる。
そしてこの式変形にも納得できないパートがあった
$ L_T = log\frac{p(m_{1:t}|s=+1)}{p(m_{1:t}|s=-1)}
と、定義すると
$ L_T = \sum_{t=1}^{T}Δ_t,$ Δ_t = log\frac{p(m_t|s=+1)}{p(m_t|s=-1)}
とかける。
$ L_T = L_{T-1}+Δ_t
なので、$ Δ_tは観察により得られた新しい証拠を表している。
ここで、
$ p(m|s=±1)=\mathcal{N(\mu,\sigma^2)}
とすると、
$ Δ_t=\frac{1}{2\sigma^2}[-(m_t-\mu_+)^2+(m_t-\mu_-)^2\rbrack
とかける。
Naa_tsure.iconここまではわかる
ここで、$ m_t=\mu_\pm+\sigma\epsilonと書き換えるんだけど、なぜ$ \muと$ \sigmaが使いまわせるのかが分からなかった
$ \epsilon \sim \mathcal{N(0,1)}
Naa_tsure.icon一つ目の疑問を解決してる途中に自己解決しちゃった
$ m_tは一回一回は特定の値が得られる。
だから$ m_t=\mu_\pm+\sigma\epsilonと書く
それに対して、上で確認した通り$ p(m|s=±1)は分布なので、
$ p(m|s=±1)=\mathcal{N(\mu,\sigma^2)}
と書く。
使いまわしているというか、元となる分布とそこから出てくる値という違いNaa_tsure.icon*4